import pandas as pd

# 读取Excel文件
file_path = '去重实验excel.xlsx'  # Excel文件路径
sheet_name = 'Sheet1'  # Excel工作表名称

# 使用pandas读取Excel文件
df = pd.read_excel(file_path, sheet_name=sheet_name)

# 打印原始数据
print("原始数据(前10行):")
print(df.head(10))

# 去重，只保留唯一行  --->关键步骤
df_unique = df.drop_duplicates()

# 打印去重后的数据
print("去重后的数据(前10行):")
print(df_unique.head(10))

# 把去重后的数据保存到新的Excel文件
output_file_path = '去重后的excel文件.xlsx'
df_unique.to_excel(output_file_path, index=False)

print(f"去重后的数据已保存到 {output_file_path}")